Look Light, Think Heavy: What Multimodal Chain-of-Thought Reasoning Can and Cannot Do
看轻，想重：多模态思维链推理的能与不能
🧭 多模态思维链评估与视觉推理分析
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
系统评估多模态思维链推理，揭示其在感知任务中的反效果与视觉推理瓶颈
📌 工作参考价值（4 点）
- 在电商多模态推荐或购物Agent中，涉及商品图片的视觉接地、目标计数等感知任务时，应谨慎使用思维链推理（CoT），以免性能下降；可按任务类型选择性开启，只在需要复杂分析（如多张图片对比、穿搭推理）时启用慢思考。
- 对于多图像推理（如商品相似度对比、场景理解），CoT可能有效，但模型会出现‘看轻’现象——视觉反思随推理步骤减弱。可设计显式回看机制，例如在每个推理步骤后重新编码图像特征，或插入视觉锚点提示，强制模型持续关注视觉信息。
- 选用开源多模态推理模型时，不要仅凭数学或科学推理榜单决定，需额外评估其在基础感知任务（如对象定位、属性识别）上的表现，因现有模型常过度拟合数学任务而牺牲通用视觉能力。
- 构建多模态Agent时，可将推理流程解耦为轻量级视觉感知与重型语言推理，但需引入外部视觉校验模块，防止因‘想得过重’而忽略图像细节，提升最终决策可靠性。